AI Papers Daily

#Teacher Adaptation

2 篇

Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation

学生前缀教师适应：让教师适应学生生成前缀以提升在线策略蒸馏

🧭 On-policy 蒸馏·教师前缀适配 ★ 深度解读

Beijing Jiaotong University · Weixin AI, Tencent

在蒸馏前用学生前缀 RLVR 微调教师，提升其对学生在策略轨迹的监督可靠性，无需改变蒸馏目标

📌 工作参考价值（3 点）

• 在模型轻量化部署（如大模型蒸馏到线上小模型）时，除标准蒸馏外，先收集学生 rollout 截断为前缀，用可验证奖励（如最终答案/转化标签正确性）微调教师，使教师能“从学生所在状态继续”，可显著改善 token 级监督质量。实现时只对 continuation 部分做 RL，前缀作为 context，不模仿学生错误。
• 评估教师蒸馏能力应增加前缀条件恢复率（prefix-conditioned recovery accuracy），即给定学生常见前缀下教师正确完成的概率。该指标比独立准确率更能预测蒸馏增益；若教师在前缀上优势几乎消失，标准 OPD 可能停滞。
• 随机截断学生 rollout 作为前缀训练集，无需标注错误位置，是低成本构建教师故障恢复数据的方法。在电商文案/搜索 query 改写等任务中，可用类似方案让教师适应小模型的实际输出，并周期性从最新学生采集前缀以追踪分布漂移。

Training | 2026-11-02 | cs.CL | score 8/10

On-Policy DistillationTeacher AdaptationRLVRKnowledge DistillationPrefix Conditioning

On the Off-Policy Teacher in On-Policy Distillation

On-Policy 蒸馏中的 Off-Policy 教师模型问题与 SCOUT 框架

🧭 LLM 蒸馏训练 · 教师自适应 ★ 深度解读

Washington University in St. Louis · AWS AI Labs · Carnegie Mellon University · Georgia Institute of Technology

提出 SCOUT：周期性地用学生前缀对教师做结果奖励 RL，缓解教师 off-policy 问题，提升蒸馏效果

📌 工作参考价值（4 点）

• 当用强 LLM 蒸馏小模型做生成式推荐/query 改写/Agent 策略时，教师面对学生生成的中间状态（候选商品序列、推理链）可能给出不可靠的 token 分布。可参考 SCOUT：让学生采样轨迹，取前缀交给教师继续 rollout，用业务可验证奖励（如点击、转化、代码测试结果）做 RL 更新教师，提升教师在这些状态上的监督质量。
• 工程上教师无需每一步同步：每 10 步学生更新后更新一次教师即可保持大部分收益，降低训练成本；前缀长度可以线性递增，从短前缀开始逐渐暴露长序列，避免早期训练过难。
• 若教师是黑盒 API 不可更新，SCOUT 不直接适用，但可以考虑 prompt-based 教师适配或改用可训练的小教师；该方法与已有 loss 级监督信号修改（如信任区域、加权）正交，可以叠加使用。
• 不要把增益简单归因于额外的教师训练：如果没有在学生前缀上条件化教师更新，仅做 same outcome-reward GRPO 提升有限，说明适配学生分布才是关键。

Training | 2026-09-28 | HF Daily | score 8/10

On-Policy DistillationTeacher AdaptationGRPOLLM DistillationReinforcement LearningReasoning